Rákosi Mátyás chào đời tại Ada, một ngôi làng thuộc hạt Bács[1] (ngày nay là Vojvodina, Serbia) thuộc đế quốc Áo-Hung. Ông sinh ra trong một gia đình người Do Thái nghèo, là con thứ tư của một người bán tập phẩm (mẹ ông sẽ sinh thêm bảy người con nữa).[1] Về sau, ông hoàn toàn không còn tin vào Do Thái giáo nữa, mà trở thành một người Cộng sản vô thần.[12]

Trong cuộc Chiến tranh thế giới thứ nhất (1914 - 1918), ông làm lính trong Quân đội Áo-Hung và bị bắt tại Mặt trận phía Đông. Sau khi về Hungary, ông tham gia vào Chính phủ Cộng hoà Xô viết Hungary do Kun Béla đứng đầu. Sau khi chính phủ này sụp đổ, Mátyás lại phải rời khỏi Hungary, cuối cùng ông đến Liên Xô. Sau khi về Hungary năm 1924 Mátyás bị bắt giam. Đến năm 1949, để lấy lại những lá cờ của phong trào cách mạng Hungary (1848) bị Quân đội Nga cướp lấy tại Világos năm 1849, Chính phủ Vương quốc Hungary đã phóng thích ông và gửi ông tới Liên Xô.[13] Tại Liên bang Xô viết, ông trở thành lãnh đạo của Quốc tế thứ ba. Vào ngày 30 tháng 1 năm 1945, Chính phủ Liên Xô gửi ông về Debrecen, Hungary, để thành lập Đảng Cộng sản.[13]